Перейти к основному содержимому

4.3. Контейнеры и блоки данных

Основные концепции хранения данных в Apache Ozone: Контейнеры и блоки данных​

Apache Ozone организует хранение данных через эффективную и масштабируемую систему контейнеров и блоков. Эта архитектура позволяет распределять данные по множеству узлов кластера, обеспечивая высокую производительность и отказоустойчивость. Контейнеры и блоки данных являются основой механизма хранения в Ozone.

1. Контейнеры в Ozone​

Контейнер — это логическая единица хранения, объединяющая множество блоков данных. Контейнеры управляются Storage Container Manager (SCM) и распределяются между узлами DataNode. Они играют важную роль в поддержании консистентности и управлении репликацией данных.

Основные особенности контейнеров:​

  • Размер контейнера: По умолчанию составляет 5 ГБ, что упрощает управление крупными объёмами данных.
  • Репликация: Данные в контейнере реплицируются на несколько узлов для обеспечения отказоустойчивости (по умолчанию 3 копии).
  • Автоматическое управление: SCM управляет размещением контейнеров и следит за их состоянием.

Роль контейнеров:​

  • Объединяют связанные блоки данных.
  • Упрощают распределение данных между узлами DataNode.
  • Позволяют Ozone эффективно масштабировать хранилище с миллиардами объектов.

2. Блоки данных в Ozone​

Блок данных — это часть объекта, хранящегося в Ozone. Если объект (ключ) слишком большой, он разбивается на несколько блоков. Блоки данных распределяются и реплицируются между узлами кластера.

Основные особенности блоков:​

  • Размер блока: По умолчанию 256 МБ. Этот параметр можно настроить в зависимости от требований приложения.
  • Распределение: SCM распределяет блоки между DataNodes для балансировки нагрузки.
  • Репликация: Каждый блок реплицируется для повышения надёжности и отказоустойчивости.

Процесс записи и чтения данных:​

  • При записи объекта (ключа) Ozone разбивает его на блоки.
  • Эти блоки помещаются в контейнеры и распределяются по узлам DataNode.
  • При чтении Ozone собирает блоки и восстанавливает исходный объект.

3. Взаимодействие контейнеров и блоков​

Контейнеры играют роль «упаковки» для блоков данных. Когда в Ozone записывается файл (ключ), он разбивается на блоки, которые затем помещаются в один или несколько контейнеров. SCM отслеживает, какие блоки находятся в каждом контейнере и на каких узлах.

Алгоритм записи данных:​

  1. Клиент отправляет данные для записи.
  2. Ozone разбивает данные на блоки.
  3. SCM определяет, на какие DataNodes записать блоки.
  4. Блоки данных помещаются в контейнеры на выбранных DataNodes.
  5. SCM отслеживает репликацию и распределение данных.

4. Мониторинг контейнеров и блоков​

Вы можете просматривать состояние контейнеров и блоков с помощью административных команд.

  • Просмотр списка контейнеров:

    bin/ozone admin container list

  • Получение информации о контейнере:

    bin/ozone admin container info <container-id>

  • Просмотр блоков внутри контейнера:

    bin/ozone admin block list --container=<container-id>

5. Репликация и отказоустойчивость​

Каждый контейнер и его блоки реплицируются между несколькими DataNodes для обеспечения надёжности. Если один из узлов выходит из строя, система автоматически восстанавливает реплики на других узлах.

  • Контроль репликации: SCM отслеживает состояние реплик и перезапускает процесс репликации при необходимости.
  • Балансировка нагрузки: SCM распределяет блоки данных равномерно по всем узлам DataNode.

6. Пример: Запись и распределение данных​

  1. Создание объёма и бакета:

    bin/ozone sh volume create /myvolume
    bin/ozone sh bucket create /myvolume/mybucket

  2. Запись файла в Ozone:

    bin/ozone sh key put /myvolume/mybucket/mykey largefile.txt

    Если файл слишком большой, он будет разбит на несколько блоков, которые распределятся по контейнерам на разных DataNodes.

  3. Проверка состояния контейнеров и блоков:

    bin/ozone admin container list
    bin/ozone admin block list --container=<container-id>

7. Настройка размера блоков и контейнеров​

Вы можете настроить размер блоков и контейнеров в конфигурационном файле ozone-site.xml.

Пример настроек:

<configuration>
  <!-- Настройка размера контейнера (по умолчанию 5 ГБ) -->
  <property>
    <name>ozone.scm.container.size</name>
    <value>10GB</value>
  </property>

  <!-- Настройка размера блока (по умолчанию 256 МБ) -->
  <property>
    <name>ozone.client.block.size</name>
    <value>512MB</value>
  </property>
</configuration>

После внесения изменений перезапустите компоненты Ozone для их применения.

Итог​

Контейнеры и блоки данных — это основа хранения данных в Apache Ozone. Контейнеры упрощают управление блоками данных, обеспечивают отказоустойчивость и балансировку нагрузки в кластере. Блоки позволяют хранить большие объекты, разбивая их на части и распределяя по узлам кластера. Такая архитектура делает Ozone масштабируемой и надёжной системой хранения, подходящей для работы с большими объёмами данных.